製造ビジネステクノロジー部のやまたつです。

re:Invent 2024のセッション「STG367-NEW | [NEW LAUNCH] Store tabular data at scale with Amazon S3 Tables?」に参加してきたのでレポートします。
このセッションはBreakout session形式で行われ、今回のre:Inventの新作である「Amazon S3 Tables」についての説明が行われました。

全体の流れ

このセッションは大枠として以下の流れで進行されました。

1. S3 Tablesの概要
2. パフォーマンス面の改善
3. セキュリティ面の強化
4. コスト最適化
5. AWS分析サービスとの統合

S3 Tablesの概要

まずは、S3 Tablesが作られた背景とS3 Tablesの特徴について説明がありました。

背景

背景として、これまでのS3は主にインターネット向けのデータ保存として広く使われてきましたが、最近のデータ分析やAI/MLなどの用途が増えてきたことで、新たな課題が生まれてきました。例えば、データの整合性管理やスキーマ変更の複雑さなどが課題となっていました。

これらの課題に対して、Icebergというオープンテーブルフォーマットが登場し、メタデータファイルを活用することでデータの整合性や変更管理を容易にすることができるようになりました。

特徴

S3 Tablesは、このIcebergフォーマットのテーブルデータを直接S3上で管理できるようにした新機能であり、S3の拡張性とIcebergの機能が組み合わさったものとなっています。
主な特徴としては、テーブルバケットという新しいリソースタイプの導入、テーブル管理用のAPIの提供、メタデータの自動管理、セキュリティ面での改善(テーブルレベルのアクセス制御、名前空間の活用)などが挙げられます。

S3 Tablesの強み

強みとして、以下の3ポイントが挙げられました。

• パフォーマンス
• セキュリティ
• コスト

パフォーマンス面の改善

このセクションでは、S3 Tablesのパフォーマンスについて、秒間トランザクション数が10倍になりクエリパフォーマンス3倍になったことが強調されました。

また、自動コンパクション処理により、データファイルの統合が自動的に行われるため、クエリ処理時のファイル数が減少し、パフォーマンスが向上するという点も紹介されました。
この自動化により、ユーザー側で手動でコンパクション処理を行う必要がなくなり、運用負荷が軽減されるという利点があります。

セキュリティ面の強化

セキュリティ面での強化について、テーブル単位またはテーブルグループ単位でのアクセス制御が可能であること、そしてIAMユーザーやロールごとにテーブルへのアクセス権限を細かく設定できることが説明されました。

コスト最適化

コスト最適化について、S3 Tablesではスナップショットの自動管理が行われるため、不要になったスナップショットは自動的に削除されるため、ストレージコストの最適化が図れると説明されました。

AWS分析サービスとの統合

セッションの後半では実際にWEBコンソールを操作している動画が流れ、Athena、Redshift、QuickSightなどのAWS分析サービスとの連携方法が紹介されました。

まとめ

まとめとして今後の展開について話されました。
S3 Tablesはオープンフォーマットへの投資の一環として位置づけられており、今後もさらなる機能拡張が期待できるとのことでした。
また、顧客からのフィードバックが非常に重要だと強調し、今後も顧客の声を反映しながら、機能を進化させていきたいと述べていました。

感想

個人的には時系列なセンサーデータの格納とリアルタイム監視及び分析の用途に使えるのかどうかを知りたく、このセッションを聴講しました。
結果として、期待していた用途にも使えそうなので試してみたいと思っています。具体的なユースケースについての情報もこれから収集していきたいと思います。

DSQLもあるしAI系の発表もたくさんあったので、何から手をつけたものか。。。

以上でした！